รอแบร์เป็นน้องชายต่างบิดาของวิลเลียมผู้พิชิต ทั้งคู่มีมารดาคนเดียวกัน คือ นางแอร์เลวา ซึ่งมีความสัมพันธ์กับรอแบร์ ดยุคแห่งนอร์ม็องดี จนมีบุตรชายด้วยกัน คือ วิลเลียม (ภาษาฝรั่งเศส คือ กีโยม) ก่อนสมรสกับแอร์ลัน ไวส์เคานต์แห่งกงเตอวีล และมีบุตรชายด้วยกัน คือ โอโด ซึ่งเกิดในปี ค.ศ. 1030 ขณะวิลเลียมมีอายุ 2 ปี กับ รอแบร์ ซึ่งเกิดในปี ค.ศ. 1031 บันทึกกล่าวว่าโอโดเป็นคนฉลาดและมีไหวพริบ ส่วนรอแบร์เป็นคนอืดอาดและหัวทึบ

ในปี ค.ศ. 1063 วิลเลียมซึ่งดำรงยศเป็นดยุคแห่งนอร์ม็องดีได้แต่งตั้งรอแบร์ น้องชายร่วมมารดาของตน เป็นดยุคแห่งมอร์แต็ง บันทึกเล่าว่าก่อนยกตำแหน่งให้รอแบร์ วิลเลียมได้ถอดกีโยมผู้เป็นลูกพี่ลูกน้องของตนออกจากตำแหน่งเนื่องจากทรยศ มอร์แต็งเป็นหนึ่งในดินแดนในศักดินาของดยุคแห่งนอร์ม็องดี มีพรมแดนติดกับเบรอตาญและเมน วิลเลียมจึงต้องการยกมอร์แต็งให้แก่คนที่ตนไว้ใจ